Garfield sinh tại Los Angeles, là con của một phụ nữ người Anh đến từ Essex và có cha là một người Mỹ đến từ California.[2][3] Gia đình của anh chuyển đến sống ở Anh Quốc khi anh tròn 3 tuổi.[2] Garfield được nuôi dưỡng trong một gia đình trung lưu đạo Do Thái.[4][5] Gia đình anh điều hành một công ty thiết kế nội thất nhỏ. Mẹ anh là Lynn (née Hillman),[6][7] làm trợ giảng co một trường đào tạo y tá. Cha anh là Richard Garfield, trở thành huấn luyện viên chính cho Câu lạc bộ Guildford.[8][9] Anh có một người anh lớn làm bác sĩ.[10] Garfield lớn lên tại Surrey, Anh Quốc, anh là một vận động viên thể dục và tham gia bơi lội.[3][8] Ban đầu, anh muốn sau này mình sẽ học về kinh doanh, nhưng anh bắt đầu đam mê diễn xuất và theo đuổi nó khi được 16 tuổi.[11]

Garfield học dự bị tại Trường Dự bị Priory ở Banstead và sau đó là trường City of London Freemen's School gần Ashtead, trước khi chính thức được đào tại Central School of Speech and Drama, Đại học London, anh tốt nghiệp trường này năm 2004.[8][12]